基于视觉的深度学习模型对于演讲和听力受损和秘密通信可能是有希望的。虽然这种非言语通信主要通过手势和面部表情调查,但到目前为止,洛杉状态(即打开/关闭)的解释/翻译系统没有跟踪努力的研究。为了支持这一发展,本文报告了两个新的卷积神经网络(CNN)模型用于嘴唇状态检测。建立两个突出的嘴唇地标检测器,DLIB和MediaPipe,我们用一组六个关键地标简化嘴唇状态模型,并使用它们对嘴唇状态分类的距离。因此,开发了两种模型以计算嘴唇的打开和关闭,因此,它们可以将符号分类为总数。调查不同的帧速率,唇部运动和面部角度以确定模型的有效性。我们早期的实验结果表明,在平均每秒6帧(FPS)和95.25%的平均水平检测精度的平均值相对较慢,DLIB的模型相对较慢。相比之下,带有MediaPipe的模型提供了更快的地标检测能力,平均FPS为20,检测精度为94.4%。因此,这两种模型都可以有效地将非口头语义中的嘴唇状态解释为自然语言。
translated by 谷歌翻译
Climate change has increased the intensity, frequency, and duration of extreme weather events and natural disasters across the world. While the increased data on natural disasters improves the scope of machine learning (ML) in this field, progress is relatively slow. One bottleneck is the lack of benchmark datasets that would allow ML researchers to quantify their progress against a standard metric. The objective of this short paper is to explore the state of benchmark datasets for ML tasks related to natural disasters, categorizing them according to the disaster management cycle. We compile a list of existing benchmark datasets introduced in the past five years. We propose a web platform - NADBenchmarks - where researchers can search for benchmark datasets for natural disasters, and we develop a preliminary version of such a platform using our compiled list. This paper is intended to aid researchers in finding benchmark datasets to train their ML models on, and provide general directions for topics where they can contribute new benchmark datasets.
translated by 谷歌翻译
当今世界受到新颖的冠状病毒(Covid-19)的严重影响。使用医疗套件来识别受影响的人非常慢。接下来会发生什么,没人知道。世界正面临不稳定的问题,不知道在不久的将来会发生什么。本文试图使用LSTM(长期记忆)对冠状病毒恢复病例进行预后。这项工作利用了258个地区的数据,其纬度和经度以及403天的死亡人数范围为22-01-2020至27-02-2021。具体而言,被称为LSTM的先进基于深度学习的算法对为时间序列数据(TSD)分析提取高度必不可少的特征产生了极大的影响。有很多方法已经用于分析传播预测。本文的主要任务最终在分析使用基于LSTM深度学习的体系结构分析冠状病毒在全球恢复案例中的传播。
translated by 谷歌翻译
全球一百多个国家的主食是大米(Oryza sativa)。大米的种植对于全球经济增长至关重要。但是,农业产业面临的主要问题是水稻疾病。农作物的质量和数量下降了,这是主要原因。由于任何国家的农民对水稻疾病都没有太多了解,因此他们无法正确诊断稻叶疾病。这就是为什么他们不能适当照顾米叶的原因。结果,生产正在减少。从文献调查中,Yolov5表现出更好的结果与其他深度学习方法相比。由于对象检测技术的不断发展,Yolo家族算法具有非常高的精度和更好的速度,已在各种场景识别任务中使用,以构建稻叶疾病监测系统。我们已经注释了1500个收集的数据集,并提出了基于Yolov5深学习的水稻疾病分类和检测方法。然后,我们训练并评估了Yolov5模型。模拟结果显示了本文提出的增强Yolov5网络的对象检测结果的改进。所需的识别精度,召回,MAP值和F1得分的水平分别为90 \%,67 \%,76 \%和81 \%\%被视为性能指标。
translated by 谷歌翻译
系统变化是代谢组学数据分析中的常见问题。因此,使用不同的缩放和归一化技术来预处理数据进行代谢组学数据分析。尽管文献中有几种缩放方法可用,但是缩放,转换和/或归一化技术的选择会影响进一步的统计分析。选择适当的缩放技术进行下游分析以获得准确的结果或做出正确的决定是一项挑战。此外,现有的缩放技术对离群值或极值敏感。为了填补空白,我们的目标是引入不受异常值影响的强大缩放方法,并为下游分析提供了更准确的结果。在这里,我们引入了一种新的加权缩放方法,该方法对异常值具有强大的功能,但是,在数据预处理中不需要其他异常检测/治疗步骤,并将其与通过人工和实际代谢组学数据集进行了比较与常规缩放和归一化技术。我们在不存在和存在不同百分比的异常值的情况下,使用代谢组学数据分析评估了所提出的方法的性能与其他现有的常规缩放技术相比。结果表明,在大多数情况下,在不存在和存在异常值的情况下,提出的缩放技术的性能比传统的缩放方法更好。提出的方法改善了进一步的下游代谢组学分析。提出的强大缩放方法的R函数可在https://github.com/nishithkumarpaul/robustscaling/blob/main/main/wscaling.r.r
translated by 谷歌翻译
查询聚焦的文本摘要(QFTS)任务旨在构建基于给定查询的文本文档摘要的构建系统。解决此任务的关键挑战是缺乏培训摘要模型的大量标记数据。在本文中,我们通过探索一系列域适应技术来解决这一挑战。鉴于最近在广泛的自然语言处理任务中进行预先接受的变压器模型的成功,我们利用此类模型为单文档和多文件方案的QFTS任务产生抽象摘要。对于域适应,我们使用预先训练的变压器的摘要模型应用了各种技术,包括转移学习,弱监督学习和远程监督。六个数据集的广泛实验表明,我们所提出的方法非常有效地为QFTS任务产生抽象摘要,同时在一组自动和人类评估指标上设置新的最先进的结果。
translated by 谷歌翻译
口头和非口头线索对伟大公开发言的作用是多十年来探索的主题。我们在渠道或通信方式中识别出现在现状理论的共性,“品种或异质性”(例如,借助故事,科学事实,情绪联系,面部表情等),这对于有效地传达信息至关重要。我们使用该观察来形式化新颖的异质性度量下摆下摆,这些度量下降,这量化了口头和非言语域(转录物和面部手势)的谈话的质量。我们使用TED会谈作为公开演讲的输入存储库,因为它包括除了广泛的外展之外的不同社区的发言者。我们表明,下摆之间存在有趣的关系,以及观众对发言人的TED谈判的评级。它强调,隐生和成功地代表了基于“品种或异质性”谈话的质量。此外,我们还发现HIM成功地捕获了与种族和性别的评级中的普遍存在偏见,我们呼叫敏感属性(因为基于这些可能导致不公平结果的预测)。我们将下降度量纳入神经网络的损失功能,以减少与种族和性别的评级预测的不公平。我们的研究结果表明,改进的损耗函数在不显着影响神经网络的预测准确性的情况下提高了预测的公平性。我们的工作在口头和非言语域中的公共演讲中的一个新的公共演讲与神经网络的计算能力设计为扬声器设计公平预测系统。
translated by 谷歌翻译
Observational studies have recently received significant attention from the machine learning community due to the increasingly available non-experimental observational data and the limitations of the experimental studies, such as considerable cost, impracticality, small and less representative sample sizes, etc. In observational studies, de-confounding is a fundamental problem of individualised treatment effects (ITE) estimation. This paper proposes disentangled representations with adversarial training to selectively balance the confounders in the binary treatment setting for the ITE estimation. The adversarial training of treatment policy selectively encourages treatment-agnostic balanced representations for the confounders and helps to estimate the ITE in the observational studies via counterfactual inference. Empirical results on synthetic and real-world datasets, with varying degrees of confounding, prove that our proposed approach improves the state-of-the-art methods in achieving lower error in the ITE estimation.
translated by 谷歌翻译
人类广泛利用视觉和触摸作为互补的感官,视觉提供有关场景的全球信息,并在操纵过程中触摸当地信息而不会受到阻塞。在这项工作中,我们提出了一个新颖的框架,用于以一种自我监督的方式学习多任务视觉执行表示。我们设计了一种机制,该机制使机器人能够自主收集空间对齐的视觉和触觉数据,这是下游任务的关键属性。然后,我们使用交叉模式对比损失训练视觉和触觉编码器将这些配对的感觉输入嵌入共享潜在空间中。对学习的表示形式进行评估,而无需对5个感知和控制任务进行微调,涉及可变形表面:触觉分类,接触定位,异常检测(例如,手术幻影肿瘤触诊),触觉搜索,例如,视觉疑问(例如,在遮挡的情况下,都可以从视觉询问中进行触觉搜索),以及沿布边缘和电缆的触觉伺服。博学的表示形式在毛巾功能分类上达到了80%的成功率,手术材料中异常检测的平均成功率为73%,视觉引导触觉搜索的平均成功率和87.8%的平均伺服距离沿电缆和服装的平均伺服距离为87.8%。接缝。这些结果表明,学习的表示形式的灵活性,并朝着对机器人控制的任务不合时宜的视觉表达表示迈出了一步。
translated by 谷歌翻译
EEG信号是复杂且低频信号。因此,它们很容易受到外部因素的影响。脑电图伪像的去除对于神经科学至关重要,因为伪影对脑电图分析的结果有重大影响。在这些文物中,去除眼伪影是最具挑战性的。在这项研究中,通过开发基于双向长期记忆(BILSTM)的深度学习(DL)模型来提出一种新型的眼部伪像去除方法。我们创建了一个基准测试数据集,通过组合Eegdenoisenet和DEAP数据集来训练和测试提出的DL模型。我们还通过以各种SNR级别的EOG污染地面真相清洁的脑电图来增强数据。然后,使用小波同步转换(WSST)获得的高定位时频(TF)系数(WSST)获得的高定位时频(TF)系数,将Bilstm网络馈送到从增强信号中提取的特征。我们还将基于WSST的DL模型结果与传统TF分析(TFA)方法进行比较,即短期傅立叶变换(STFT)和连续小波转换(CWT)以及增强原始信号。最佳的平均MSE值为0.3066是通过首次基于BilstM的WSST-NET模型获得的。我们的结果表明,与传统的TF和原始信号方法相比,WSST-NET模型显着改善了伪影的性能。此外,提出的EOG去除方法表明,它的表现优于文献中许多基于常规和DL的眼神伪像去除方法。
translated by 谷歌翻译